% Descri\c{c}\~{a}o sobre redes RBF e regulariza\c{c}\~{a}o
% Marcelo - 25/05/1998 - Domingo - 18:50
%\documentclass[12pt]{book}
%\usepackage{latexcad}
%\usepackage{epsfig}
%\begin{document}

\chapter{Redes Neurais com Fun\c{c}\~{a}o de Base Radial}
\label{CAPRBF}

\section{Introdu\c{c}\~{a}o}

Redes neurais com fun\c{c}\~{a}o de base radial (RBF) tiveram, desde a sua
introdu\c{c}\~{a}o, um estreito relacionamento com a \'{a}rea
estat\'{\i}stica, mais precisamente ligada \`{a} interpola\c{c}\~{a}o de fun\c{c}\~{o}es. 
A utiliza\c{c}\~{a}o fun\c{c}\~{o}es de base radial na resolu\c{c}\~{a}o 
de problemas foi feita inicialmente por Powell \cite{POWELL8501}
e a posterior modelagem de uma rede neural RBF pode ser encontrada no
trabalho de Broomhead e Lowe \cite{BROOMHEAD8801}.

Fazendo-se um paralelo com os m\'{e}todos estat\'{\i}sticos, redes neurais
RBF podem ser vistas como um modelo multivari\'{a}vel de regress\~{a}o
n\~{a}o param\'{e}trico com capacidade de interpola\c{c}\~{a}o, podendo ser
ainda linear ou n\~{a}o. Estas caracter\'{\i}sticas merecem um pouco mais de
destaque e s\~{a}o comentadas a seguir.

\begin{description}
\item[Multivari\'{a}vel:]  Esta caracter\'{\i}stica est\'{a} ligada com o
n\'{u}mero de vari\'{a}veis independentes (ou entradas da rede) existentes no
problema. Modelos onde a vari\'{a}vel dependente (sa\'{\i}das da rede) est\~{a}o
relacionadas com v\'{a}rias vari\'{a}veis de entrada s\~{a}o chamados de
multivari\'{a}vel.

\item[Regress\~{a}o:]  A regress\~{a}o pode ser representada no \^{a}mbito de
redes neurais como aprendizagem supervisionado. Um conjunto de exemplos
composto por pares de entradas e sa\'{\i}das s\~{a}o apresentados \`{a} rede que
tenta apreender o modelo emp\'{\i}rico subjacente aos dados.

\item[N\~{a}o param\'{e}trico:]  Um modelo \'{e} considerado param\'{e}trico ou
n\~{a}o dependendo do conhecimento que se tem a respeito do seu relacionamento
funcional. Quando se sabe, {\em a priori}, o modelo funcional do problema e apenas
se est\'{a} interessado em descobrir os par\^{a}metros existentes neste modelo
de forma a melhor ajust\'{a}-lo ao conjunto de dados, o problema \'{e} dito
param\'{e}trico. Em geral, neste tipo de modelo, os par\^{a}metros representam
caracter\'{\i}sticas f\'{\i}sicas. Ao contr\'{a}rio, quando n\~{a}o se tem
conhecimento do tipo de fun\c{c}\~{a}o que governa o modelo e este modelo \'{e}
ent\~{a}o estimado atrav\'{e}s de uma fun\c{c}\~{a}o com par\^{a}metros sem
significado f\'{\i}sico, o problema \'{e} dito n\~{a}o param\'{e}trico.

\item[Interpola\c{c}\~{a}o:]  Neste caso, o conceito em RNA equivalente \'{e}
generaliza\c{c}\~{a}o. Depois de ter sido treinada atrav\'{e}s de um conjunto de
exemplos (pares entrada/sa\'{\i}da), espera-se que a rede possa ser capaz de
generalizar o seu conhecimento, respondendo a situa\c{c}\~{o}es novas de
maneira inteligente (no fundo realizando uma interpola\c{c}\~{a}o no mapeamento
de entrada e sa\'{\i}da representado pela rede).
\end{description}

\section{Fun\c{c}\~{o}es de Base Radial}

O m\'{e}todo de interpola\c{c}\~{a}o baseado em Fun\c{c}\~{o}es de Base Radial (RBF)
procura reconstruir a sa\'{\i}da de uma fun\c{c}\~{a}o \`{a} partir de um
conjunto de fun\c{c}\~{o}es geralmente n\~{a}o lineares utilizadas como base. Aliado a
isto, outro ponto bastante importante \'{e} o fato de as RBFs possu\'{\i}rem um
decrescimento (ou crescimento) monot\^{o}nico da fun\c{c}\~{a}o \`{a} partir de um
ponto central. Fun\c{c}\~{o}es do tipo gaussiana, multiquadr\'{a}tica,
multiquadr\'{a}tica inversa ou pseudo c\'{u}bica s\~{a}o exemplos de RBFs, sendo
que os modelos que utilizam RBFs gaussianas s\~{a}o, em geral, os mais
comumente encontrados, at\'{e} mesmo devido \`{a} sua simplicidade na manipula\c{c}\~{a}o
alg\'{e}brica e estreita liga\c{c}\~{a}o com a \'{a}rea estat\'{\i}stica.
Estas RBFs est\~{a}o representadas na Figura \ref{FIGRBFUNCS} e as fun\c{c}\~{o}es
matem\'{a}ticas que as descrevem podem ser vistas a seguir.

\begin{enumerate}
\item  Gaussiana: $h\left( x\right) =\exp \left( -\frac{\left( x-c\right) ^2}{r^2}\right) $

\item  Multiquadr\'{a}tica: $h\left( x\right) =\frac{\sqrt{r^2+\left(
x-c\right) ^2}}r$

\item  Multiquadr\'{a}tica inversa: $h\left( x\right) =\frac r{\sqrt{r^2+\left( x-c\right) ^2}}$

\item  Pseudo c\'{u}bica: $h\left( x\right) =\left|(x-c)^3\right|$
\end{enumerate}

\begin{figure}[h]
\begin{center}
\includegraphics[width=12cm,height=8cm]{rbfshp.ps}
\end{center}
\caption{Formato de algumas RBFs}
\label{FIGRBFUNCS}
\end{figure}

As RBFs s\~{a}o parametrizadas atrav\'{e}s de valores de raio e centro. Uma
varia\c{c}\~{a}o destes par\^{a}metros para uma RBF gaussiana pode ser
visualizada na Figura \ref{FIGGAUSSPAR}.

\begin{figure}[h]
\begin{center}
\includegraphics[width=12cm,height=6cm]{gausspar.ps}
\end{center}
\caption{Variando par\^{a}metros para uma RBF gaussiana}
\label{FIGGAUSSPAR}
\end{figure}

Como pode ser visto, o raio est\'{a} ligado com a abertura da gaussiana. Valores
muitos pequenos tornam a RBF altamente localizada, respondendo apenas para
valores muito pr\'{o}ximos do centro. Por outro lado, valores muito grandes
tornam a RBF flex\'{\i}vel demais, de forma que valores muito distantes
passam a ter respostas muito pr\'{o}ximas. O centro, por sua vez, ir\'{a}
definir a posi\c{c}\~{a}o espacial ocupada pela gaussiana. Apesar de se estar
utilizando aqui um exemplo bidimensional, o centro pode ser representado
genericamente como um ponto no espa\c{c}o n-dimensional que ir\'{a} definir a
regi\~{a}o da hiper-gaussiana.

\subsection{Modelo matem\'{a}tico}

Antes de se discutir a aplica\c{c}\~{a}o de RBF em modelos de RNAs, \'{e} interessante
analisar como \'{e} realizado a interpola\c{c}\~{a}o dos dados \cite{MARKORR9601}. Para isto,
considere $\mathbf{x}$ como um vetor de dados de entrada, $h_j\left( \mathbf{%
x}\right) $ como um conjunto de $m$ fun\c{c}\~{o}es de base radial que ser\~{a}o
ponderadas atrav\'{e}s de $w_j$ e $\hat f\left( \mathbf{x}\right) $ como a resposta
da interpola\c{c}\~{a}o. Dessa forma, o valor de 
$\hat f\left( \mathbf{x}\right) $ pode ser representado por:

\begin{equation}
\hat f\left( \mathbf{x}\right) =\sum\limits_{j=1}^mw_jh_j\left( \mathbf{x}\right) 
\label{EQRBF1}
\end{equation}

Assim, pode-se notar que a qualidade desta interpola\c{c}\~{a}o estar\'{a}
intimamente relacionada com o conjunto de fun\c{c}\~{o}es utilizadas como base.
Uma medida comumente utilizada para a avalia\c{c}\~{a}o da qualidade da
interpola\c{c}\~{a}o \'{e} o somat\'{o}rio do erro quadr\'{a}tico. Supondo que
existam $p$ pares de dados de entrada e sa\'{\i}da compondo o conjunto de
treinamento, representados genericamente por $\left\{ \left( \mathbf{x}%
_j, f(\mathbf{x_j})\right) \right\} _{j=1}^p$ ($f(\mathbf{x})$ foi considerado como escalar apenas
por simplifica\c{c}\~{a}o), o somat\'{o}rio do erro quadr\'{a}tico no processo de
interpola\c{c}\~{a}o pode ser descrito como\footnote{a nota\c{c}\~{a}o usando o funcional 
$E\left[ \hat f\right] $ \'{e} adequada neste caso, pois o erro ir\'{a} depender do
conjunto de fun\c{c}\~{o}es utilizadas como base}:

\begin{equation}
E\left[ f\right] =\sum\limits_{j=1}^p\left( f\left( \mathbf{x_j}\right) - \hat f\left( \mathbf{x_j}\right)
\right) ^2
\end{equation}

Conforme mostrado no Cap\'{\i}tulo \ref{CAP-ILLPOSED}, esta medida pode ser usada sem restri\c{c}\~{o}es 
para problemas bem colocados como fun\c{c}\~{a}o de custo a minimizar. J\'{a} quando o
problema come\c{c}a a se tornar muito sens\'{\i}vel \`{a}s varia\c{c}\~{o}es em 
$\mathbf{x}$\textbf{\ }ou mesmo n\~{a}o possuir solu\c{c}\~{a}o \'{u}nica, outras
t\'{e}cnicas de solu\c{c}\~{a}o que n\~{a}o sejam baseadas somente em solu\c{c}\~{o}es 
\'{o}timas devem ser adotadas (a estrat\'{e}gia defendida mais adiante
e j\'{a} discutida no Cap\'{\i}tulo \ref{CAP-ILLPOSED} ser\'{a} a regulariza\c{c}\~{a}o).

\section{Redes neurais RBF}

Uma rede neural RBF pode ser considerada como uma rede composta por uma
camada de entrada, outra de sa\'{\i}da e por uma camada escondida \cite{BROOMHEAD8801}, conforme
representado na Figura \ref{FIGREDERBF}.

%\placedrawing{rede02.lp}{Rede neural RBF}{FIGREDERBF}

\begin{figure}[tbh]
\begin{center}
\includegraphics[width=11cm,height=8cm]{rederbf1.ps}
\end{center}
\caption{Rede neural RBF}
\label{FIGREDERBF}
\end{figure}

Cada camada apresenta uma caracter\'{\i}stica espec\'{\i}fica, descritas a
seguir:

\begin{description}
\item[Camada de entrada:]  Esta camada apresenta um n\'{u}mero de nodos igual
\`{a} dimens\~{a}o do vetor de entrada e possui a fun\c{c}\~{a}o de distribuir a
informa\c{c}\~{a}o de entrada para todos os nodos da camada escondida.

\item[Camada escondida:]  A camada escondida se apresenta muito importante
ao realizar uma transforma\c{c}\~{a}o n\~{a}o linear nos dados de entrada. \'{E}
esta transforma\c{c}\~{a}o que ir\'{a} permitir que o conjunto de dados (a
princ\'{\i}pio n\~{a}o linearmente separ\'{a}vel) seja representado em um novo
espa\c{c}o de dimens\~{a}o elevada capaz de torn\'{a}-lo linearmente separ\'{a}vel.
Esta camada geralmente possui um n\'{u}mero de nodos igual ao n\'{u}mero de
padr\~{o}es utilizados no treinamento, mas isto pode variar e ser\'{a} visto 
com mais detalhes adiante.

\item[Camada de sa\'{\i}da:]  A camada de sa\'{\i}da \'{e} geralmente
utilizada para realizar uma transforma\c{c}\~{a}o linear nos dados provenientes
da camada escondida e representa a soma ponderada que pode ser vista na
Equa\c{c}\~{a}o \ref{EQRBF1}. Esta camada tamb\'{e}m pode ser composta por
v\'{a}rios nodos, sendo que o comum em problemas de interpola\c{c}\~{a}o \'{e} que
ele possua apenas um.
\end{description}


Este tipo de topologia encontra embasamento no teorema de Cover sobre
separabilidade de padr\~{o}es \cite{COVER6501} e nos artigos de Poggio e
Girosi \cite{GIROSSI8901,GIROSSI9002}. Cover mostra que a probabilidade
de se obter uma separa\c{c}\~{a}o efetiva dos padr\~{o}es \'{e} maior para a
transforma\c{c}\~{a}o que mapear seus dados no espa\c{c}o de maior dimens\~{a}o, atrav\'{e}s 
de uma transforma\c{c}\~{a}o n\~{a}o linear.
J\'{a} Poggio e Girosi afirmam que redes RBF podem ser consideradas como
aproximadores universais ao serem capazes de descrever qualquer fun\c{c}\~{a}o
multivari\'{a}vel, se forem fornecidos nodos suficientes na camada escondida.
Estas duas caracter\'{\i}sticas tornam as redes RBF excelentes para
mapeamentos multidimensionais.

\subsection{Dimensionando a camada escondida}
\label{LBCENTROSRBF}

Uma vez que a dimens\~{a}o das camadas de entrada e sa\'{\i}da s\~{a}o determinadas
diretamente pelo conjunto de dados utilizados, resta discutir como calcular
o n\'{u}mero de nodos na camada escondida. Tr\^{e}s m\'{e}todos ser\~{a}o abordados a
seguir: centros fixos, sele\c{c}\~{a}o de centros supervisionada atrav\'{e}s de {\em Forward
Selection} e sele\c{c}\~{a}o de centros usando auto-organiza\c{c}\~{a}o.

\subsubsection{Centros fixos}

Uma alternativa inicial \'{e} considerar a quantidade de nodos na 
camada escondida igual ao n\'{u}mero vetores no conjunto de treinamento 
e com centros para a RBF definidos pela posi\c{c}\~{a}o espacial do vetor de entrada. 
A grande vantagem neste caso \'{e} que o algoritmo de aprendizagem
envolve, em geral, a solu\c{c}\~{a}o de um problema linear de invers\~{a}o matricial, 
tornando r\'{a}pido o processo de treinamento \cite{MARKORR9601}. 

Apesar de ser uma solu\c{c}\~{a}o simples e de utilizar todo o conjunto de treinamento 
(o que pode ser muito vantajoso para problemas onde os dados s\~{a}o esparsos),
esta solu\c{c}\~{a}o pode se tornar de elevado custo computacional quando o
conjunto de dados utilizado para treinamento se torna muito grande. A grosso
modo, o custo computacional do treinamento
de uma rede neural RBF com $p$ pares de entrada e sa\'{\i}da
\'{e} da ordem de $p^3$, que \'{e} o custo da invers\~{a}o para uma matriz $p \times p$.
Depois de treinada, o custo computacional para se utilizar a rede ser\'{a}
aproximadamente o de uma multiplica\c{c}\~{a}o matricial, crescendo linearmente com $p$. 

O excesso de ajuste aos dados ({\em over-fitting}) pode ser bastante frequente 
ao se adotar esta op\c{c}\~{a}o \cite{MARKORR9602}. Uma forma de se contornar isto 
seria escolher aleatoriamente alguns centros do conjunto de dados, ou
ainda, caso se conhe\c{c}a bem o conjunto de dados, selecionar os centros mais
representativos.
A aplica\c{c}\~{a}o de regulariza\c{c}\~{a}o no treinamento, como ser\'{a} visto mais adiante neste 
cap\'{\i}tulo, tamb\'{e}m \'{e} uma boa t\'{e}cnica para melhorar o desempenho da sele\c{c}\~{a}o 
por centros fixos.

\subsubsection{Sele\c{c}\~{a}o supervisionada}

A estrat\'{e}gia, neste caso, \'{e} escolher o conjunto de centros durante o 
pr\'{o}prio processo de treinamento da rede. Apesar de acarretar um 
maior custo computacional ao treinamento devido \`{a} sua maior complexidade,
m\'{e}todos que utilizam esta abordagem s\~{a}o bastante interessante,
principalmente quando se tem uma grande quantidade de dados.

Um m\'{e}todo que utiliza sele\c{c}\~{a}o supervisionada de centros \'{e} conhecido como 
{\em Forward Selection} \cite{MARKORR9602}.  Basicamente o m\'{e}todo cria uma
fun\c{c}\~{a}o de custo que mede o desempenho das RBF utilizadas e um
subconjunto (inicialmente vazio) de RBF. Durante sua execu\c{c}\~{a}o novas
bases v\~{a}o sendo adicionadas (ou retiradas) at\'{e} que n\~{a}o se tenha  mais
uma diminui\c{c}\~{a}o do custo.
Isto \'{e} bastante interessante ao permitir eliminar, por exemplo,
centros que situem muito pr\'{o}ximos de outros ou que n\~{a}o apresentem
consist\^{e}ncia com o conjunto de dados. A este processo de sele\c{c}\~{a}o
ainda se pode adicionar regulariza\c{c}\~{a}o \cite{MARKORR9501}, 
aumentando a imunidade a ru\'{\i}dos.

Outro m\'{e}todo similar pode ser visto em Haykin \cite{HAYKIN9401}, onde
s\~{a}o mostradas as f\'{o}rmulas para adapta\c{c}\~{a}o dos centros e sua posi\c{c}\~{a}o
durante o treinamento. Haykin comenta ainda o trabalho de Wettschereck e
Dietterich \cite{WETTSCHERECK9201}, que mostra uma compara\c{c}\~{a}o entre redes 
RBF com centros fixos e redes RBF com centros ajust\'{a}veis, tendo estas 
\'{u}ltimas um desempenho melhor.

\subsubsection{Sele\c{c}\~{a}o auto-organizativa}

Outra t\'{e}cnica utilizada para se reduzir a quantidade de RBFs \'{e} a
aplica\c{c}\~{a}o de um mapa auto-organizativo de Kohonen \cite{KOHONEN8801}.
Dessa forma, os centros s\~{a}o reunidos pelo grau de similaridade que
apresentam entre si, formando uma classe. Consequentemente, um cada
centro pode passar a representar uma classe, diminuindo o n\'{u}mero de
RBFs. Estrat\'{e}gias como esta podem ser encontradas nos trabalhos de
Moody e Daken \cite{MOODY8901} e Lippmann \cite{LIPPMANN8901}.

\subsection{Treinamento}

O treinamento de uma rede RBF\ \'{e} feito atrav\'{e}s de uma aprendizagem
supervisionada, ou seja, a rede constr\'{o}i a sua base de conhecimento
atrav\'{e}s de um conjunto de pares de entrada e sa\'{\i}da. A escolha de um
conjunto de dados consistente e estatisticamente bem distribu\'{\i}do na
regi\~{a}o de interesse \'{e} fundamental para o sucesso do treinamento.

O modelo matem\'{a}tico para o treinamento \'{e} basicamente o mesmo utilizado
na abordagem por aproxima\c{c}\~{a}o de fun\c{c}\~{o}es (nas equa\c{c}\~{o}es seguintes ser\'{a} 
considerado apenas o caso de uma rede com centros fixos):

\begin{equation}
\hat f\left( \mathbf{x}\right) =\sum\limits_{i=1}^pw_ih\left( \left\| \mathbf{x}-%
\mathbf{t}_i\right\| \right)  \label{EQ-RBF}
\end{equation}

A diferen\c{c}a est\'{a} basicamente relacionada com o termo $\left\| \mathbf{x}%
-\mathbf{t}_i\right\| $. Neste caso, o que se tem \'{e} uma medida de
dist\^{a}ncia (geralmente euclidiana) entre o vetor de entrada $\mathbf{x}$ e
o centro da RBF em quest\~{a}o ($\mathbf{t}_i$).

\'{E} f\'{a}cil notar que a Equa\c{c}\~{a}o \ref{EQ-RBF} remete o problema de
treinamento para a solu\c{c}\~{a}o de um conjunto de equa\c{c}\~{o}es lineares, da
seguinte forma  \cite{HAYKIN9401}:

\begin{equation}
\left[ 
\begin{array}{c}
\hat f_1\left( \mathbf{x}\right) \\ 
\hat f_2\left( \mathbf{x}\right) \\ 
\vdots \\ 
\hat f_p\left( \mathbf{x}\right)
\end{array}
\right] =\left[ 
\begin{array}{cccc}
h_{11}\left( \mathbf{x}-\mathbf{t}_1\right) & h_{12}\left( \mathbf{x}-%
\mathbf{t}_2\right) & \cdots & h_{1p}\left( \mathbf{x}-\mathbf{t}_p\right)
\\ 
h_{21}\left( \mathbf{x}-\mathbf{t}_1\right) & h_{22}\left( \mathbf{x}-%
\mathbf{t}_2\right) & \cdots & h_{2p}\left( \mathbf{x}-\mathbf{t}_p\right)
\\ 
\vdots & \cdots & \ddots & \vdots \\ 
h_{p1}\left( \mathbf{x}-\mathbf{t}_1\right) & h_{p2}\left( \mathbf{x}-%
\mathbf{t}_2\right) & \cdots & h_{pp}\left( \mathbf{x}-\mathbf{t}_p\right)
\end{array}
\right] \left[ 
\begin{array}{c}
w_1 \\ 
w_2 \\ 
\vdots \\ 
w_p
\end{array}
\right]
\label{EQMATRIZ-PROJETO}
\end{equation}

Ou, em uma forma matricial:

\begin{equation}
\mathbf{\hat  f} = \mathbf{H}\mathbf{w}
\end{equation}

Neste ponto, o objetivo \'{e} descobrir o conjunto de pesos \'{o}timo que
aproximem a fun\c{c}\~{a}o $ \mathbf{\hat f}$, ou seja, descobrir a matriz $\mathbf{H}%
^{+}$ de tal forma que $\mathbf{w}=\mathbf{H}^{+} \mathbf{\hat f}$. Este problema
\'{e} o mesmo discutido na Se\c{c}\~{a}o \ref{SEC-AXB}, com todas as suas
implica\c{c}\~{o}es, mas agora em um contexto de redes neurais.

Neste momento, uma observa\c{c}\~{a}o relacionada com a matriz $\mathbf{H}$
merece destaque. Esta matriz \'{e} formada atrav\'{e}s da transforma\c{c}\~{a}o
n\~{a}o linear que mapeia os dados de entrada no espa\c{c}o de alta dimens\~{a}o
representado pela camada escondida e uma solu\c{c}\~{a}o satisfat\'{o}ria para o
problema ir\'{a} depender das caracter\'{\i}sticas dessa matriz ou,
indiretamente, de uma boa rela\c{c}\~{a}o entre o conjunto de dados e os
par\^{a}metros das RBFs adotadas.

Assumindo inicialmente um caso padr\~{a}o para treinamento, onde as RBFs s\~{a}o
gaussianas, com centros determinados pelos vetores de entrada e de mesma
quantidade destes. Dessa forma, o \'{u}ltimo par\^{a}metro a ser determinado \'{e}
o raio das RBFs, que ser\'{a} considerado o mesmo para todas as RBFs. O que se
pode notar \'{e} que a escolha de um valor n\~{a}o apropriado para o raio
prejudicar\'{a} demasiadamente o comportamento da rede.

Sem perda de generaliza\c{c}\~{a}o, considere um caso onde os vetores
utilizados para treinamento s\~{a}o bidimensionais. A influ\^{e}ncia do raio da
RBF no condicionamento da matriz pode ser vista na Figura \ref{FIGRBFRAIO}.

\begin{figure}[tbh]
\begin{center}
\includegraphics[width=12cm,height=6cm]{raiocmp.ps}
\end{center}
\caption{Raios para RBF: (a) raio muito pequeno e (b) raio muito grande}
\label{FIGRBFRAIO}
\end{figure}

Para casos onde o raio \'{e} muito pequeno, somente para vetores muito
pr\'{o}ximos do centro da RBF \'{e} que se ter\'{a} valores diferentes de zero
como sa\'{\i}da da RBF. Como em geral os dados apresentam algum tipo de
ru\'{\i}do, isto ir\'{a} provocar uma singularidade ou mal condicionamento da
matriz $\mathbf{H}$ ao gerar colunas com todos os valores muito pr\'{o}ximos
de zero.

J\'{a} para raios excessivamente grandes, a RBF tender\'{a} a produzir valores
de sa\'{\i}da muito pr\'{o}ximos, mesmo para grandes varia\c{c}\~{o}es no vetor de
entrada, deixando, desta forma, as colunas da matriz $\mathbf{H}$ com
valores aproximadamente constantes e levando, de novo, \`{a} singularidade.

Al\'{e}m disto, do ponto de vista de generaliza\c{c}\~{a}o, enquanto o primeiro
caso produz respostas altamente localizadas, deixando a rede sem qualquer
capacidade de generaliza\c{c}\~{a}o, o segundo n\~{a}o \'{e} capaz de fornecer
nenhuma resposta confi\'{a}vel, ao responder da mesma forma para v\'{a}rios
vetores de entrada diferentes.

Outra observa\c{c}\~{a}o bastante pertinente est\'{a} relacionada com a disposi\c{c}\~{a}o 
espacial dos centros das RBFs. A Figura \ref{FIGRBFCENTROS} 
mostra dois casos relevantes de distribui\c{c}\~{a}o espacial dos centros
das RBFs.

\begin{figure}[tbh]
\begin{center}
\includegraphics[width=12cm,height=6cm]{centcmp.ps}
\end{center}
\caption{(a) centros muito distantes (b) centros formando nuvens}
\label{FIGRBFCENTROS}
\end{figure}

No primeiro caso, no conjunto de centros utilizado, alguns se apresentam
muito distantes e deveriam ser eliminados pois deslocam a solu\c{c}\~{a}o do
seu valor mais prov\'{a}vel. Uma medida errada ou mesmo excessivamente ruidosa
poderia ocasionar uma situa\c{c}\~{a}o desta. O fato \'{e} que, como o conjunto
de dados \'{e} geralmente multidimensional e n\~{a}o se tem um modelo funcional,
fica muito dif\'{\i}cil se desconsiderar centros com este tipo de
comportamento.

J\'{a} no segundo caso, o que se nota \'{e} que parece haver uma certa
redund\^{a}ncia no conjunto de centros utilizados, ao notar que s\~{a}o formadas
algumas nuvens de centros. Neste caso \'{e} bastante interessante aplicar uma
estrat\'{e}gia de sele\c{c}\~{a}o de centros utilizando-se uma mapa
auto-organizativo de Kohonen \cite{KOHONEN8801}, de forma a eliminar
centros desnecess\'{a}rios.

De uma maneira geral, o mal condicionamento da matriz $\mathbf{H}$, seja por
uma parametriza\c{c}\~{a}o da rede deficiente, ru\'{\i}do ou mesmo devido \`{a}
natureza intr\'{\i}nseca dos dados com os quais se est\'{a} lidando, deve ser
tratado. Neste ponto, a refer\^{e}ncia \`{a} regulariza\c{c}\~{a}o se faz, de novo,
inevit\'{a}vel.

\subsection{Redes Neurais RBF e regulariza\c{c}\~{a}o}

A rede neural RBF, devido \`{a} sua caracter\'{\i}stica de interpola\c{c}\~{a}o multidimensional, 
pode representar um processo de reconstru\c{c}\~{a}o de uma hipersuperf\'{\i}cie. Este 
processo \'{e} geralmente de natureza mal colocada, uma vez que n\~{a}o se tem informa\c{c}\~{a}o 
suficiente para a reconstru\c{c}\~{a}o de forma \'{u}nica, al\'{e}m dos dados
serem geralmente ruidosos \cite{GIROSSI9002}.

Ainda sem aplicar a regulariza\c{c}\~{a}o, o treinamento da rede envolve a 
determina\c{c}\~{a}o de um conjunto de pesos ($\mathbf{w}$) para que a rede 
forne\c{c}a um erro m\'{\i}nimo. Sendo $\mathbf{y}$ a fun\c{c}\~{a}o desejada e
$\mathbf{\hat y}=\mathbf{Hw}$ a sa\'{\i}da da rede, onde o 
seu valor m\'{e}dio \'{e} dado por $\mathbf{\bar y}=\left\langle \mathbf{\hat y}\right\rangle $, tem-se 
a seguinte express\~{a}o para o erro:

\begin{equation}
E\left[ \mathbf{w}\right] =\left\| \mathbf{H} \mathbf{w-}\mathbf{y}\right\| ^2
\label{EQENERBFSEMREG}
\end{equation}

Utilizando os resultados obtidos na Se\c{c}\~{a}o \ref{CAP-ILLPOSED-REG-POLVAR}, 
o valor esperado da Equa\c{c}\~{a}o \ref{EQENERBFSEMREG} pode ser representado por:

\begin{equation}
\begin{array}{cccc}
\bar E\left[ \mathbf{w}\right]= & \underbrace{\sum\limits_i\left( y_i-\bar y_i\right) ^2} & +
& \underbrace{\left\langle \sum\limits_i{}\left( \hat y_i-\bar
y_i\right) ^2\right\rangle } \\ 
& Polarizac\tilde ao &  & Vari\hat ancia
\end{array}
\label{EQPOLVARRBF}
\end{equation}

O problema do equil\'{\i}brio entre a polariza\c{c}\~{a}o e vari\^{a}ncia \'{e} central em RNAs. Um equil\'{\i}brio entre
estes dois fatores \'{e} que ir\'{a} permitir que a rede tenha uma boa capacidade de 
generaliza\c{c}\~{a}o. Enquanto a polariza\c{c}\~{a}o fornece uma medida de qu\~{a}o ajustados 
est\~{a}o os resultados gerados pela rede ($\mathbf{\hat y}$) e a 
fun\c{c}\~{a}o desejada ($\mathbf{y}$), 
a vari\^{a}ncia permite estimar o quanto a rede \'{e} sens\'{\i}vel a uma escolha particular
do conjunto de dados \cite{BISHOP9503}.
Se a rede se comporta de maneira muito flex\'{\i}vel 
\footnote{Preferiu-se usar o termo {\em flexibilidade} para denotar a complexidade 
da rede. Uma rede muito flex\'{\i}vel ter\'{a} uma quantidade maior de par\^{a}metros ajust\'{a}veis, 
enquanto que uma rede pouco flex\'{\i}vel possuir\'{a} poucos par\^{a}metros ajust\'{a}veis.}
em rela\c{c}\~{a}o ao conjunto de dados, 
ou seja, se ajusta excessivamente aos vetores de treinamento, apesar de se obter 
pequenos valores para a polariza\c{c}\~{a}o, a vari\^{a}ncia ser\'{a} alta, gerando grandes erros. 
Por outro lado, se a rede \'{e} inflex\'{\i}vel, ou seja, muito insens\'{\i}vel ao vetores de 
treinamento, a vari\^{a}ncia ser\'{a} baixa mas a polariza\c{c}\~{a}o apresentar\'{a} grandes valores.
Em ambos os casos, a capacidade de generaliza\c{c}\~{a}o da rede estar\'{a} fatalmente
prejudicada.

Uma forma de se contornar este problema \'{e} aumentar o conjunto de dados 
usado no treinamento em conson\^{a}ncia com uma adequada complexidade
da rede. Mais dados fornecem uma vari\^{a}ncia menor e modelos mais complexos
diminuem a polariza\c{c}\~{a}o  \cite{BISHOP9503}. Como modelos mais complexos ir\~{a}o
exigir um tempo computacional maior e nem sempre \'{e} poss\'{\i}vel aumentar o 
conjunto de dados, esta op\c{c}\~{a}o se torna invi\'{a}vel em alguns casos.

Outra maneira de se reduzir a vari\^{a}ncia e a polariza\c{c}\~{a}o 
seria introduzir alguma esp\'{e}cie de conhecimento {\em a priori} 
no treinamento, de forma a impor algumas restri\c{c}\~{o}es \`{a} Equa\c{c}\~{a}o 
\ref{EQENERBFSEMREG} e tornar $\mathbf{\hat y}$ e $\mathbf{y}$ mais
pr\'{o}ximas. Esta abordagem \'{e} justamente a da regulariza\c{c}\~{a}o.

Os trabalhos iniciais estabelecendo uma estreita rela\c{c}\~{a}o entre Redes
Neurais RBF e regulariza\c{c}\~{a}o s\~{a}o devidos a Poggio e Girosi. Entre
v\'{a}rios artigos relacionados \cite{GIROSSI8901,POGGIO9001,
GIROSSI9002,GIROSI9501}, talvez o mais interessante seja o artigo de 1990,
intitulado \emph{``Networks for approximation and Learning''}. Este artigo
fornece uma vis\~{a}o clara da utiliza\c{c}\~{a}o de redes neurais RBF na solu\c{c}\~{a}o 
de problemas de interpola\c{c}\~{a}o. Na realidade, vai al\'{e}m disto, ao
demonstrar v\'{a}rios aspectos da teoria de regulariza\c{c}\~{a}o e aproxima\c{c}\~{a}o. 
Poggio e Girosi, sempre com um rigoroso tratamento matem\'{a}tico,
evidenciam a influ\^{e}ncia da regulariza\c{c}\~{a}o nos processos de interpola\c{c}\~{a}o 
e estendem o conceito de redes RBF, ao apresentarem uma rede denominada
rede RBF generalizada (ou redes de regulariza\c{c}\~{a}o). A import\^{a}ncia de
se utilizar gaussianas como RBFs e sua liga\c{c}\~{a}o com a neurobiologia
tamb\'{e}m s\~{a}o comentadas.

O treinamento com regulariza\c{c}\~{a}o apresenta as mesmos caracter\'{\i}sticas
j\'{a} descritas nos problemas mal colocados (Se\c{c}\~{a}o \ref{CAP-ILLPOSED-REG}). 
Basicamente, a solu\c{c}\~{a}o pode ser dada pela
minimiza\c{c}\~{a}o da mesma equa\c{c}\~{a}o (Equa\c{c}\~{a}o \ref{EQTIKHO}), onde agora
os par\^{a}metros que ser\~{a}o determinados s\~{a}o pesos ($\mathbf{w}$) da rede:

\begin{equation}
E_\alpha \left[ \mathbf{w}\right] =\left\| \mathbf{H}
 \mathbf{w-}\mathbf{y}\right\| ^2+\alpha \left\| L\mathbf{w}\right\| ^2
\end{equation}

Quando n\~{a}o se tem nenhuma informa\c{c}\~{a}o {\em a priori} a respeito da
hipersuperf\'{\i}cie a ser reconstru\'{\i}da, assumir a exist\^{e}ncia
de algum alisamento na fun\c{c}\~{a}o que est\'{a} sendo reconstru\'{\i}da \'{e}
bastante razo\'{a}vel \cite{GIROSSI9002}. 
Um operador $L$ baseado em derivadas \'{e} capaz de
desempenhar este papel, funcionando como um medidor de qu\~{a}o alisada \'{e} a
fun\c{c}\~{a}o. Se a fun\c{c}\~{a}o passa a ser muito oscilante, suas derivadas
ser\~{a}o ainda maiores, ocasionando altos valores de penalidade. Poggio e
Girosi \cite{GIROSI9501} fazem uma abordagem deste t\'{o}pico bastante
interessante ao analisarem o termo de regulariza\c{c}\~{a}o no dom\'{\i}nio da
frequ\^{e}ncia e categorizando os termos de regulariza\c{c}\~{a}o em classes de
estabilizadores. 

De uma maneira geral, fun\c{c}\~{o}es muito oscilantes possuem mais energia nas
frequ\^{e}ncias altas e, consequentemente, um comprimento de banda maior. Do
ponto de vista de aplica\c{c}\~{a}o, o trabalho de Bishop \cite{BISHOP9001}
traz um exemplo com o termo de penalidade baseado em derivada segunda.

Outro trabalho, mais recente, tamb\'{e}m de Bishop \cite{BISHOP9501},
desenvolve um algoritmo de treinamento baseado na introdu\c{c}\~{a}o de
ru\'{\i}do como maneira de se evitar o \emph{overfitting}. No treinamento com
ru\'{\i}do, a cada vetor de treinamento apresentado para a rede, \'{e}
adicionado um vetor aleat\'{o}rio de ru\'{\i}do, com m\'{e}dia zero e pequena
norma. Dessa forma, durante o treinamento, uma esp\'{e}cie de ``nuvem de
pontos '' passa a existir em torno do vetor apresentado (na realidade, uma
hiper-esfera com raio definido pelo valor m\'{a}ximo permitido para a gera\c{c}\~{a}o 
do vetor aleat\'{o}rio de ru\'{\i}do). O que se obt\'{e}m \'{e} um termo de
regulariza\c{c}\~{a}o cujo coeficiente de regulariza\c{c}\~{a}o \'{e} dado pelo
quadrado da vari\^{a}ncia do vetor aleat\'{o}rio de ru\'{\i}do. Bishop afirma
que, para valores pequenos de vari\^{a}ncia, este procedimento \'{e} equivalente
\`{a} regulariza\c{c}\~{a}o de Tikhonov e que a capacidade de generaliza\c{c}\~{a}o
da rede \'{e} aumentada.

%Este resultado \'{e} muito bem aproveitado em um artigo de Bishop 
%\cite{BISHOP9401} que, \`{a} partir destas da
%vari\^{a}ncia e da m\'{e}dia, prop\~{o}e um modelo para o valor desejado. Neste
%modelo, o valor de sa\'{\i}da passa a ser representado como uma gaussiana,
%onde a m\'{e}dia de cada valor de sa\'{\i}da \'{e} representada pelo valor
%utilizado no treinamento e a vari\^{a}ncia \'{e} considerada como a vari\^{a}ncia
%global calculada. Apesar de n\~{a}o haver nenhuma rela\c{c}\~{a}o expl\'{\i}cita
%entre os valores desejados e uma distribui\c{c}\~{a}o espec\'{\i}fica, a
%utiliza\c{c}\~{a}o de uma distribui\c{c}\~{a}o gaussiana permite obter uma
%formula\c{c}\~{a}o matem\'{a}tica do valor esperado que se mostra equivalente ao
%problema de minimiza\c{c}\~{a}o por m\'{\i}nimos quadrados. Uma extens\~{a}o deste
%modelo chamada \emph{``Misture Density Network''} (\cite{BISHOP9401})
%considera o dado desejado como sendo uma composi\c{c}\~{a}o de v\'{a}rias
%gaussianas ponderadas atrav\'{e}s de coeficientes. Este coeficientes podem
%estar ligados, por exemplo, \`{a} probabilidades {\em a priori}
% do conjunto de
%entrada.

Finalmente, \'{e} indispens\'{a}vel citar os trabalhos de Mark Orr 
\cite{MARKORR9601,MARKORR9602}, que retiram as redes RBF do mundo das id\'{e}ias e
as colocam em aplica\c{c}\~{a}o. Al\'{e}m de apresentar uma descri\c{c}\~{a}o clara
e solidamente baseada em \'{a}lgebra linear, Mark Orr disponibiliza um
conjunto de ferramentas computacionais (desenvolvidas em Matlab) para a
utiliza\c{c}\~{a}o de redes RBF e regulariza\c{c}\~{a}o. Estas ferramentas foram utilizadas
neste trabalho como principal forma de treinamento para a rede RBF.

%\bibliographystyle{plain}
%\bibliography{neural}
%\end{document}
